The Shadow Price of Reasoning: Economic Perspective on Optimal Budget Allocation for LLMs
推理的影子价格：经济视角的LLM最优预算分配
🧭 LLM推理预算优化
Zhejiang University · Tencent HY Team · Peking University
用影子价格模型实现LLM推理预算的全局优化，显著提升资源稀缺时的准确率，最高3倍于均匀分配。
📌 工作参考价值（3 点）
- 借鉴CLEAR的边际效用均衡分配思想，对线上LLM调用做动态算力配额：优先将预算分配给接近「涌现阈值」的可解query，放弃无解query，避免算力浪费，适用于推荐系统中的解释生成、对话Agent等高频LLM场景。
- 利用shifted-surge效用函数刻画每个query的推理收益曲线，为生成式推荐中不同物品的推理深度决策提供可量化的成本-收益模型。
- 全局影子价格概念可拓展到多Agent或RAG系统，统一协调各子模块的计算资源，实现端到端最优分配，而非各模块独立优化。